ماه گذشته، درباره معیار جدید شرکت Mercor که توانایی عاملهای هوش مصنوعی را در انجام وظایف حرفهای مانند مسائل حقوقی و تحلیلهای شرکتی اندازهگیری میکرد، نوشتم. در آن زمان، امتیازات واقعاً پایین بود و همه آزمایشگاههای بزرگ کمتر از ۲۵٪ امتیاز میگرفتند، بنابراین به این نتیجه رسیدیم که وکلا حداقل فعلاً از جایگزین شدن با هوش مصنوعی در امان هستند.
اما قابلیتهای هوش مصنوعی میتواند فقط در چند هفته تغییر زیادی کند.
در این هفته، انتشار نسخه Opus 4.6 از شرکت Anthropic باعث تغییر چشمگیر در جدول امتیازات شد، بهطوری که مدل جدید این شرکت نزدیک به ۳۰٪ در آزمونهای تکمرحلهای و به طور میانگین ۴۵٪ وقتی که فرصتهای بیشتری برای حل مسأله داشت، امتیاز کسب کرد. نکته قابل توجه اینکه این نسخه شامل مجموعهای از ویژگیهای جدید عامل محور بود، از جمله “گروههای عامل”، که احتمالاً برای حل مسائل چندمرحلهای مفید واقع شدند.
در هر صورت، این امتیاز جهش بزرگی نسبت به سطح قبلی است و نشانهای از ادامه پیشرفت مدلهای پایه به شمار میرود. مدیرعامل Mercor، برندن فودی که بهویژه تحت تأثیر قرار گرفته بود، گفت: «صعود از ۱۸.۴٪ به ۲۹.۸٪ فقط در چند ماه، شگفتانگیز است.»
امتیاز سی درصد هنوز با صد درصد فاصله زیادی دارد، بنابراین لازم نیست وکلا نگران باشند که هفته آینده ماشینها جای آنها را میگیرند. اما باید نسبت به ماه گذشته اعتماد به نفس کمتری داشته باشند!
